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(57) Die Erfindung betrifft ein Verfahren zur Lastver- 
teilung in einenn Realzeit-Muttiprozessorsystem und ein 
Multiprozessorsystem, wobeiauf jedenn Prozessor eine 
Verteilquote gefuhrt wird, die den Anteil der verteilbaren 
Last, der tatsachlich verteilt werden soil, festsetzt. Die 
Verteilquote wird in Zeitlntervallen neu bestimmt Die 
einzige Information, die jedes Zeitintervall von den an- 
deren Prozessoren benotigt wird, sind Lastwertindika- 



toren, die von einer geschatzten Last abhangen. Zu- 
satzlich werden Wahrscheinlichkeiten gefuhrt, welche 
angeben. wie bei Lastverteilung Last von einem auf die 
anderen Prozessoren ubertragen wird. AnsclilieBend 
verteilt jeder Prozessor anhand seiner Verteilquote und 
seiner Lastverteilungsfaktoren seine verteilbare Last an 
andere Prozessoren, wenn seine Verteilquote einen 
vorgegebenen Wert uberschreitet. 
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Beschreibung 

[0001] Die Erfindung betrifft ein Verfahren zur Lastverteilung in einem Multiprozessorsystem, insbesondere in einem 
Multiprozessorsystenn eines Konnmunikatbnssystems, bei dem anfallende Aufgaben von nnehreren Prozessoren MPj 

5 (mit i-1 ,2 n) unter Realzeitbedingungen abgearbeitet werden konnen und ein Multiprozessorsystem, insbesondere 

eines Kommunikationssystems, nnit einem Lastve.rteilungsmechanismus. 

[0002] Ein ahnliches Verfahren zur Lastverteilung in einem Multiprozessorsystem, insbesondere in einem Multipro- 
zessorsystem eines Kommunikationssystems, ist beispielsweise aus der Europaischen Patentanmeldung EP 0 645 
702 A1 der Anmelderin bekannt. Diese Schrift offenbart ein Verfahren zum Lastenausgleich in einem Multiprozessor- 
10 system, insbesondere ein Multiprozessorsystem eines Kommunikationssystems, bei dem anfallende Aufgaben von 
mehreren Prozessoren unter Realzeitbedingungen abgearbeitet werden konnen, wobe* zur Durchfuhrung des Last- 
ausgleiches allgemein die folgenden Verfahrensschritte genannt sind: 

jeder Prozessor ermittelt seinen Lastzustand in Form einer quantifizierten GroBe, 
IS - jedem Prozessor werden die Lastzustande der anderen Prozessoren innerhalb eines Zeitrasters mitgeteilt, 

jeder Prozessor gibt in Abhangigkeit vom Uberschretten einer bestimmten Grb3e seines Lastzustandes und in 
Abhangigkeit von den Lastzustanden der ubrigen Prozessoren zumindest einen Teil der bei ihm anfallenden Auf- 
gaben an die tibrigen Prozessoren ab, und 

die abgegebenen Aufgaben werden entsprechend den Lastzustanden der ubrigen Prozessoren auf diese aufge- 
20 teilt. 

[0003] Im Ausfuhrungsbeispiel wird das Verfahren dahingehend konkretisiert, daB im Betrieb standig und vor dem 
Einstieg in die Lastverteilung, die hier erst ab dem Erreichen einer bestimmten Uberlast beginnt, Verteilungsquoten 
errechnet werden, nach denen die einzelnen Prozessoren im Fall der Uberlast an andere Prozessoren ihre verteilbare 
25 Last abgeben. 

[0004] Ist das System dauerhaft ungleichmaBig ausgelastet, so wIrd die Last erst bei Uberlast eines oder mehrerer 
Prozessoren verteilt. Damit geht aber unnotige Lastabwehr einher. Die Reduktion der Uberlastschwelte auf einen nied- 
rigeren Wert fuhrt zu keinem befriedigenden Ergebnis, weil dann unnotig vtel l-ast verteilt wird und es zu Schwingungs- 
zustanden kommen kann. Diese Situation ergibt sich aus der dort getroffenen Annahme, daft die Uberlast oder die 

30 ungleichmaBige Belastung von kurzer Dauer ist. 

Es ist daher Aufgabe der Erfindung, ein vertDessertes Lastverteilungsverfahren fur ein Multiprozessorsystem anzuge- 
ben, welches rechtzeitig und "weich" einsetzt und dadurch dauertiafte Schief lastzustande im Lastangebot ohne Last- 
abwehr bewaitigt, AuBerdem soil auch ein entsprechendes Multiprozessorsystem angegeben werden. 
[0005] Die Aufgabe wird einerseits durch ein Verfahren mit den Verfahrensschritten des ersten Verfahrensanspru- 

35 ches und andererselts durch ein Multiprozessorsystem mit den Merkmalen des ersten Vorrichtungsanspruches gelost. 
[0006] DemgemaB schlagen die Erfinder ein Verfahren zur Lastverteilung in einem Multiprozessorsystem, insbeson- 
dere in einem Multiprozessorsystem eines Kommunikationssystems, bet dem anfallende Aufgaben von mehreren Pro- 
zessoren MPj (mit 1=1, 2,. . .,n) unter Realzeitbedingungen abgearbeitet werden konnen, mit folgenden iterativen und 
sich in Zeitintervallen Ci wiederholenden Verfahrensschritten vor: 

40 

jeder Prozessor MPj ermitteit seinen tatsachlichen Lastzustand Yj - bestimmt gegebenenfalls direkt hieraus einen 
mehnwertigen Laststatus (load state) MPiSj - und schatzt in Abhangigkeit von zuvor mitgeteilten Verteilungsquoten 
qj(alt) (mit q^an andere Prozessoren MP^ nach Mogtichkeit zu verteilender Lastanteil) und dem typischerweise 
verteilbaren Anteil V einer typischen Aufgabe seine angebotene Last Aj, die zu einem mehrwertigen Lastindikati- 
^5 onswert (Balancing Indicator) MPbij fuhrt, 

jeder Prozessor MPj teilt seinen Lastindikationswert MPbij den jeweils anderen Prozessoren MP^ (mit k=1 ,2,.. i- 
1,i+1,...n) mittelbar oder unmittelbar mit, 

jeder Prozessor MPj bestimmt seine Lastverteilungsfaktoren Pj| (mil j=1 ,2,....n) in Abhangigkeit von den Lastindi- 
kationswerten MPbi^ dieser anderen Prozessoren MP^^, 
50 - jeder Prozessor MPj bestimmt seine Verteilungsquote qi(neu) in Abhangigkeit von seinem tatsachlichen Lastzu- 
stand Yj und den Lastverteilungsfaktoren Pjj 

jeder Prozessor MPj verteilt anhand seiner Quote qj und seiner Lastverteilungsfaktoren pjj seine verteilbare Last 
an andere Prozessoren MP|^, wenn seine Verteilungsquote qi(neu) einen vorgegebenen Wert q^ uberschroitet. 

55 [0007] Zur Abschatzung der angebotenen Last Aj eines Prozessors MPj ist es vorteilhaft, die Formel Aj:=rY/(1-qjV) 
zu verwenden. 

[0008] Vorteilhaft ist auch eine Unterteilung des mehrwertigen Lastindikationswertes (balancing indicator) MPbij in 
drei diskrete Werte, wobei vorzugsweisedie folgende Abgrenzung mit Schwellenwerten gilt: NORMAL fur MPbij, wenn 
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die Prozessorauslastung 0 bis 70% betragt, HIGH fur MPbij, wenn die Prozessorauslastung 70% bis 85% betragt. und 
OVERLOAD fur MPbij. wenn die Prozessorauslastung uber 85% betragt. 

[0009] Vorteilhaft ist es auch, wenn eine Hysterese bei Lastzustandswechsel aufgrund von Schweltenwertuberschrei- 
tung Oder Schwellenwertunterschreitung bei steigender Oder fallender Prozessorauslastung eingefuhrt wird. 
5 [0010] AuRerdem kann es vorteilhaft sein, wenn der Last indi Rations we rt (balancing indicator) MPbii bezuglich An- 
derungen einer zeitlichen Hysterese unterliegt und dannit eine gewisse Tragheit erfahrt. Als Hysteresegrenze konnen 
vorteilhaft Werte von 1 bis 2 Zeitintervallen Ct angenommen werden. 

[0011] Bezuglich des mehrwertigen Laststatus (bad state) MPISj wird als besonders bevorzugt die Annahme von 
vier diskreten Werten vorgeschlagen, wobei vorzugsweise angenonnmen wird: NORMAL fur MPISj wenn die Prozes- 

10 sorauslastung unter 70% tiegt, HIGH fur MPlSj, wenn die Prozessorauslastung 70% bis 85%, OVERLOAD fur MPISj. 
wenn die Prozessorauslastung uber 85% liegt und EXTREME fur MPISj, wenn dauerhaft der Lastzustand OVERLOAD 
vorherrscht. Auch hier kann es vorteilhaft sein, wenn der Laststatus (load state) MPiSj bezuglich Anderungen einer 
Hysterese unterliegt. Als Hysteresegrenze konnen vorteilhaft Werte von 1 bis 2 Zeitinten/allen CI angenommen werden. 
[0012] Weitere vorteilhatte Annahmen bei der Durchfuhrung des erfindungsgema3en Verfahrens sind; der typische 

15 verteilbare Antei! V einer typischen Aufgabe soli der durchschnittliche Oder maxinr^le Anteil sein und als typische 
Bearbeitungszeit einer Aufgabe soil eine durchschnittliche Oder maximale Bearbeitungszeit einer Aufgabe angenom- 
men werden. Vorteilhaft kann hierbei der jeweilige Durchschnittswert Oder Maximalwert eines Anteils beziehungsweise 
einer Aufgabe auch wahrend der Betriebszeit standig ermittelt und gegebenenfalls als gieitender Wert mitgefuhrt und 
aktualisiert in das LastverteilungsverTahren ubernommen werden. Gunstig ist es hierbei. wenn die Zeltdauer, uber die 

20 die gleitenden Werte ermittelt werden, grof3 gegenuber dem Konlrollintervall CI ist. 

[0013] Besonders vorteilhaft ist es auch, wenn fur den vorgegebenen Wert der Verteilungsquote q;, ab dem der 
Prozessor MPi verteilbare Last an andere Prozessoren MP^ verteilt, gilt: 0,05<qv<0,3, vorzugsweise 0,1<qv<0,25, 
vorzugsweise qv-0,2. 

[0014] Weiterhin kann das erftndungsgemaBe Verfahren besonders vorteilhaft ausgestaltet werden, wenn bei der 
2S Berechnung der Verteilungsquote qj die folgenden Kriterien erfullt werden: 

' P,:=0 

- falls MPbij einer mittlere Last entspricht, vorzugsweise MPbij=NORMAL, gilt: pij(neu) = pij(alt)+Pci/n, fur j=1,....n 
und \^\ 

30 • falls MPbij einer hohen Last entspricht. vorzugsweise MPbij=HIGH gilt: Pi|(neu) = p\\(^\\)-p^^r\, fur j=1 n und \^\ 

- falls MPbij einer Uberlast entspricht. vorzugsweise MPbij=OVERLOAD, gilt: Pij(neu) = 0 

- wobei vorzugsweise die py „ .„) mit der Summe p^um der pjj auf 1 nomniert wird und 

als Initialisierungswert beim Beginn der Verteilungsprozesse alle Pjj. ausgenommen Pj}, gleich sind. 

35 [0015] Als vorteilhafte Zahlenwerte konnen fur die Konstante p^i 0.1<Pci<0.5, vorzugsweise 0,2<pci<0.3 und vor- 
zugsweise Pci=0,25 angenommen werden. Ebenso ist es vorteilhaft fur die Konstante p^a 0,1<Pc2<0.5. vorzugsweise 
0.2<Pc2<0,3. vorzugsweise pc2=0,25 zu setzen. Auch kann der Initialisierungswert der Pjj beim Beginn der Verteilungs- 
prozesse gleich (n-1)-'' gesetzt werden, 

[0016] Weiterhin kann das erfindungsgemaBe Verfahren besonders vorteilhaft ausgestaltet werden, wenn bei der 
40 Berechnung der Lastindikations werte MPbij die folgenden Kriterien erfullt werden: 

- falls MPISj der hochsten Last entspricht, vorzugsweise MPISj=EXTREME, gilt: qi(neu)=q^;i, 

- falls Psum ^ 1 gilt: 

- falls der tatsachliche Lastzustand Yj grbf3er als ein vorgegebener Wert threshoIdH ist, wird qj vergroBerf mit qj^min 
^5 {qi+Cqv 1), 

- falls der tatsachliche Lastzustand Yj kleiner als ein vorgegebene Wert threshold^ ist, wird qj verkleinert mit qj=max 
{qi-Cq2. Cpa}. mit 0<Cq3<q^, vorzugsweise 0^3=0,1. 

- andernfalls (threshold,v, < Yj < thresholdn) erhall qi einen Zwischenwert zwischen den beiden oben genannten 
Alternativen, vorzugsweise durch lineare Interpolation 

50 - falls psi,^ < 1 gilt: qi(neu)=qi(alt) * p^um- 

[0017] Zur optimalen Ausgestaltung des Verfahrens sind fur die Konstante cqi die folgenden Zahlenbereiche und 
-werte bevorzugt: 0,05<Cqi <0.3, vorzugsweise 0. 1 < c^^ <0,2. vorzugsweise c^i =0, 1 5. AuBerdem kann fur die Konstante 
Cq2 vorzugsweise 0,05< c^<0,2^ vorzugsweise c^^OAO angenommen werd n. 
55 [0018] Bezuglich der Konstanten threshold^ gilt als bevorzugter Wertebereich: 0,6< thresholdN <0,8, vorzugsweise 
threshold^ =0.7. 

[0019] Bezuglich der Konstanten threshoIdH gilt als bevorzugter Wertebereich: 0.7< thresho^H <0.95, vorzugsweise 
threshoIdH =0,85. 
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[0020] Eine andere Ausgestaltung des erf tndungsgema3en Verfah rens sieht vor, daft zusatzlich in jedem Zeittntervall 
CI ein Uberlastwert OLj der Prozessoren MPj ermittelt wird, der ein MaR fur die GroGe der Uberlast ist und als MaBstab 
zur Uberlastabwehr dient, mit OLj=0, 1 ... m , und die Verteilungsquote qj auf jeden Fall vergr63ert wird, falls OLi>0 mit 
qj(neu) :=nnin{qi(aft)+ Cqi.l. 

5 [0021] ErfindungsgemaB besteht auch die Moglichkeit, eine Adaption des Lastverteilungsvertahrens an sich andern- 
de Randbedingungen durchzufuhren, indem die oben angegebenen Konstanten (%, p^^, P^a- Qcv ^02- threshold^, 
threshold^. Cq,, 0^,2, C^^) '"^ Betrieb zunnindest teilweise angepa31 werden. 

[0022] ErfindungsgemaB wird auQerdem ein Muttiprozessorsystem, insbesondere eines Kommunikationssystems, 

mit mehreren Prozessoren MPj (mit i-1 ,2 ,n) zur Ausfuhrung anfaliender Aufgaben unter Realzeitbedingungen, vor- 

10 geschlagen, wobei: 

- jeder Prozessor MPj Mittel aufweist, urn seinen tatsachlichen Lastzustand Yj zu bestimmen, - gegebonenfalls direkt 
hieraus einen mehrwertigen Laststatus (load state) MPISj zu bestimmen - und in Abhangigkeit von zuvor mitge- 
teilten Verteilungsquoten qj(alt) (mit qi=an andere Prozessoren MP^ nach Moglichkeit zu verteilender Lastanteil) 
15 und dem typischerweise verteilbaren Anteil V einer typisclien Aufgabe seine angebotene Last Aj zu schatzen, die 

zu einem mehrwertigen Laslindikationswert (Balancing Indicator) MPbijfuhrt, 

jeder Prozessor MPj Mine! aufweist, um seinen Laslindikationswert MPbij den jeweils anderen Prozessoren MP^ 
(nnit k=1 ,2,...i-l ,...n) mittelbar Oder unmlttelbar mitzuteilen, 

jeder Prozessor MPj Mittel aufweist, um seine Lastverteilungswahrscheinlichkeiten pjj (mit j=1,2 n) in Abhan- 

20 gigkeit von den Lastindikalionsyverten MPbi|^ dieser anderen Prozessoren MP^ zu bestimmen, 

jeder Prozessor MPj Mittel aufweist. um seine Verteilquote qi(neu) in Abhangigkeit von seinem tatsachlichen Last- 
zustand Yj zu bestimmen, und 

jeder Prozessor MPj Mittel aufweist, um anhand seiner Quote q; und seiner Lastverteilungsfaktoren pjj seine ver- 
teilbare Last an andere Prozessoren MP(^ zu verteiien, wenn seine Verteilquote qj(neu) einen vorgegebenen Wert 
25 uberschreitet 

[0023] ErfindungsgemaB kann das oben vorgeschlagene Multtprozessorsystem so ausgestaltet werden, daB jeweils 
eines der oben genannten Verfahren implementiert ist, wobei die Implementierung durch eine entsprechende Pro- 
grammierung der Prozessoren erfolgt. 

30 [0024] Es ist noch darauf hinzuweisen, daB der Index (alt) sich jeweils auf die Werte des vorhergehenden Iterati- 
onsschrittes, beziehungsweise der Index (neu) sich auf den jetzt aktuellen Iterationsschritt beziehen. 
[0025] Der besondere Vorteil des erfindungsgemaBen Verfahrens und des entsprechenden Muttiprozessorsystems 
liegt darin, daB es im Gegensatz zum etngangs genannten Stand der Technik einen "weichen" Einstieg in die Lastver- 
teilung gewahrleistet und dadurch anpassungsfahiger, weniger anfallig gegen Schieftastsituattonen ist und Schwin- 

35 gungszustande besser vermieden werden. Im Endeffekt wird hierdurch die Wahrschetnlichkeit fur die Abwehr von 
Aufgaben, insbesondere Vermittlungsaufgaben reduziert. 

[0026] Weitere Ausgestaltungen, zusatzliche Merkmale und Vorteile der Erfindung ergeben sich aus der nachfol- 
genden Beschreibung eines bevorzugten Ausfuhrungsbeispiels unter Bezugnahme auf die Zeichnungen. 
[0027] Es versteht sich, daB die vorstehend genannten und nachstehend noch zu eriauternden Merkmale der Erfin- 
40 dung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen Oder in Alleinstellung 
verwendbar sind, ohne den Rahmen der Erfindung zu verlassen. 
[0028] Die Figuren zeigen im einzelnen: 

Figur 1 : FluBbild des anfallenden und verteilten Lastangebotes 
45 Figur 2a: Grafische Darsteilung der Entscheidungen zur Aktualisierung der Lastverteilungsfaktoren Pj| 
Figur 2b: Grafische Darsteilung der Entscheidungen zur Aktualisierung der Verteilungsquoten q 
Figur 3: Forme! zur linearen Interpolation von qj 

[0029] Das erfindungsgemaBe Verfahren (Normal Load Balancing=NLB) ist ein quotierles Load Balancing Verfahren, 
50 das auf einem Multiprozessorsystem, insbesondere in einer Vermittlungsstelle eines Kommunikationssystems, zur 
Verteilung anfaliender Arbeitslasten auf die jeweils anderen Prozessoren ablauft und sicherstellen soil, daB andauern- 
de Schieflastsituationen bewaltigt und moglichst alle angeforderten Aufgaben in moglichst kurzer Zeit abgearbeitet 
werden. Nachfolgend soli eine besonders vorteilhafte Ausfuhrungsform dieses Verfahrens beschrieben werden. 
[0030] Auf jedem Prozessor MPj mil i=1 .2, ..,n wird eine Verteilquote q| gefuhrt, die den Anteil V der verteilbaren 
55 Last, der tatsachlichverteilt werden soil, festsetzt. Eine solche Quote ermoglicht einen weicheren Ein-beziehungsw ise 
Ausstieg aus der Lastverteilung an andere Prozessoren. Auf diese Weise werden Schwingzustande und Lastschwan- 
kungen vermieden. Dies kann beispielsweise der Fall sein, wenn ein Prozessor so viel Last an einen anderen verteilt. 
daB dieser wiederum uberlastet wird. 
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[0031] Die Verteilquote qj wird jedes Zeitintervall CI neu bestimmt. Die einzige Information, die jedes CI von den 
anderen Prozessoren MP^nnit k=1 , ...i-l ,1+1, ...n benotlgt wird, sind Lastwertindikatoren (Balancing Indlkatoren) MPbij. 
Diese Lastwertindikatoren sind - ahnlich wie die Laststatuswerte (Load States) von der Load Control - Lastzustande 
mit den Wertigkeiten NORMAL. HIGH Oder OVERLOAD. Wahrend der Load State anhand der tatsachtich bearbeiteten 
5 Last Yj des Prozessors MPj bestimmt wird, wird der Lastwertindikatoren MPbij aus einer Schatzung der aktuell ange- 
botenen Last Aj ermittelt. Die geschatzte angebotene Last Aj kann durch Lastverteilung erheblich mehr als die tatsach- 
lich bearbeitete Last Y; sein und stellt die maBgebliche Gr63e dar, die (in Form des Lastwertindikators MPbij) ein. 
Prozessor MPj den anderen MP^ als Intormation zur Verfugung stellt. 

[0032] Zusatzlich zur Verteilungsquote q; werden auf jedem MPj Wahrscheinlichkeiten Pjj gefuhrt, welche die Wahr- 
10 scheinlichkeit angeben, da3 bei Lastverteilung Last vom i-ten Prozessor MPj auf den j-ten Prozessor MPj ubertragen 
' wird. Die Wahrsclieinlichkeiten werden so bestimmt, daB, wenn etwader j-te Prozessor MPj schon viel Last zu bear- 
' beiten hat und deshalb nur wenig zusatzliche Last aufnehmen kann, das zugehorige pjj kteiner ist als das Pj^ fur einen 
freien MP^. 

[0033] In Figur 1 wird das Zusammenspiel der Pjj und qj veranschaulicht. Die doppelte Indizierung "ij' der KenngroBen 

15 besagt, daB jeweils der Prozessor mit der Nummer des ersten Index (hier i) jeweils eine "Spalte" von n Werten mit 
dem zweiten Index (hier j) kennt. Es ist zu bemerken, daB jeder Prozessor nur seine relevanten Werte (also seine 
Spalte) kennt, wobei insgesamt im System eine quadratische Matrix bekannt ist So ist zum Beispiel p,j die Wahrschein- 
lichkeit, daB Last vom i-ten MP aut den j-ten MP verteitt wird, wenn der i-te MP zu viel Last hat. 
[0034] In der Figur 1 ist auBerdem die tatsachlich bearbeitete Last des j-ten Prozessors MPj mit Yj. die geschatzte 

20 angebotene Last mil Aj und der Teil des Lastangebotes, der verlagen werden kann, mit a bezeichnet. Die gezeigle 
Lastsituation ist IJberlast (OVERLOAD) auf MPi. auf den MP^ mit k=2.3.4 ist noch Raum fur zusatzliche Aufgaben. 
Es wird gezeigt. wie der MPi einen ersten Teil der Last selbst bearbeitet und den Rest a verteilt. Von diesem Rest a 
geht der groBte Anteit an MPg. der kleinste Anteil an MP4. der in diesem Beispiel also schon viel eigene Last zu 
bearbeiten hat. Nicht eingezeichnet sind die Lasten, welche die MP^ auBer von MP^ noch erhalten. Die Breite der 

25 FlieBbalken stellen ein MaB fur die GroBe der Last dar. 

[0035] GemaB dem Erfindungsgedanken ergibt sich also der folgende Algorithmus: Meldet der j-te Prozessor MPj 
den Balancing Indikator NORMAL, wird auf dem jeweils betrachteten MPj das Pjj vergroBert. Es steigt also die Wahr- 
scheinlichkeit, daB dieser Prozessor MPj Ust an MPj abgibt, wenn er Last verteilen muB, Wird der Balancing Indikator 
HIGH gemeldet. so wird das py verkleinert. Wird der Balancing Indikator OVERLOAD gemeldet. wird pjj auf Null gesetzt, 

30 so daB keine Last an den j-ten Prozessor MPj abgegeben wird. Die Verteilungsquote qj wird anschlieBend an die 
Bestimmung der pjj verandert. Konnten viele der py vergroBert werden, so ist die Summe der pjj uber j groBer 1 und 
offenbar noch Platz auf den anderen Prozessoren MP^. Die Verteilungsquote qj kann also nach den Erfordemissen 
des (betrachteten) Prozessors verandert werden. 

Bei hoher Last Yj auf dem betrachteten Prozessor MPj wird die Verteilungsquote ^ vergroBert. bei niedriger Last wird 
35 q- verkleinert. Sind viele der Pjj verringert worden, dann ist die Summe der Pj| Ober j kleiner 1 und die Verteilungsquote 
qj muB verringert werden. 

[0036] Eine Veranschaulichung dieser Entscheidungen ist in den Figuren 2a und 2b dargestellt Die Entscheidungs- 
diagramme zeigen die Aktualisierungsalgorithmen fur Pjj (Figur 2a) und fur Verteilungsquote qj (Figur 2b}, die jedes 
Zeitintervall CI fur den i-ten Prozessor MPjdurchgefuhrt werden. 

40 [0037] Bei dem erfindungsgemaBen Lastverteilungsverfahren (NLB) werden einige Parameter (Konstanten) beno- 
tigt, deren Wahl das Verhalten in bestimmten Lastsituationen stark beeinflussen kann. Es ergibt sich in den meisten 
Fallen ein Konflikt zwischen einem Lastverteilungsverfahren. das schnell aut Lastanderungen reagieren kann. und 
einem stabtlen Lastverteilungsverfahren, das nicht zu Schwingungen und zum Weiterverteilen von Aufgaben n igt. 
"Weiterverteilen" bedeutet hier das gleichzeitige Verteilen von eigener Last und das BeartDeiten von fremder Last auf 

45 einem Prozessor. 

[0038] Folgende Parameterveranderungen bewirken ein schneller reagierendes NLB: 

Das slarkere Verandern von qj mit: 0,15<Cqi, 0^<c^ 
Das starkere Verandern der Pjj mit: 0,25<pci, 0,25<Pc2 
so - Das spatere Setzen der Lastindikationswerte MPbij mit: thresholdH>0,7 (d.h. erst bei hoherer Last 'HIGH' an die 
anderen Prozesssoren MPk metden) 

[0039] Detailliert verlauft das bevorzugte Verfahren bei einerp Multiprozessor-Kommunikationsrechner also wie folgt: 
[0040] Als Dauer des Zeitintervalls (Kontrollintervall) CI des Zeitrast rs, mit dem das Verfahren iterativ ablauft. wird 
55 bei den derzeit bekannten Multiprozessorsystemen der V miittlungstechnik bevorzugt 1 bis 2 Sekunden gewahlt. Es 
ist selbstverstandlich, daB mit steigender Prozessorleistung das Zeitinten/all gekurzt werden kann. 
[0041] Jedes Kontrollintervall CI werden die GroBen pjj. MPISj und MPbjj aktualisiert. 

[0042] Die tatsachlich bearbeitete Last Yj eines Prozessors MPj wird als ProzessorlaufzeitgroBe. gemessen in Er- 
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lang. ermittelt. 

[0043] Die geschat?te angebolene Last Aj eines Prozessors MPj wird aus der Verteilquote qj des aktuellen Kontroll- 
intervalls CI und dem geschatzten verteilbaren Antei! einer durchschnittlichen Aufgabe, zum Beispiel der Abarbeitung 
eines Calls, ermiltelt. 
5 [0044] Es gilt: 

Die Anzahl der Prozessoren MP; im Multiprozessorsystem ist n. 

Aj := Yj/(1-qjV), wobei V der verteilbare Anteil eines Calls ist. 

10 

[0045] MPISj: Load State des i-ten MPs, kann die Werte NORMAL, HIGH, OVERLOAD Oder EXTREME annehmen. 
Zur Berechnung des Load States wird die tatsachlich bearbeitete Last Yi herangezogen. 

[0046] Zur Vermeidung von vorschnellen Anderungan des MPISj werden Hysteresen eingefuhrt. Wird etwa der MPlSj 
von NORMAL auf HIGH geset^t mu3 Yj>threshoid|,j ^ :^^sein, wohingegen, um von HIGH nach NORMAL zu kommen, 
Yj < thresholdjsj - A. sein muC i.ese Vorgehensweiso ist auch als High Water-Low Water Melhode bekannt. Bei EX- 
TREME muB aus systemte^/ schen Grunden dsr ';:jrmittlungsstelle das Verteiiungsverfahren (Load Balancing) fur 
diesen Prozessor MPj abge.- litet werden. 

[0047] threshold^: Ist dio kornrsallastschwelle - nach Berucksichtigung einer Hysterese wird unterhalb dieser der 
MPls als NORMAL gefuhrt oberhalb als HIGH. 
20 [0048] threshoIdH: Hoc^faatschwelle - nach Berucksichtigung einer Hysterese und einer lastabhangigen zeitlichen 
Verzogerung (Startindikalor) wird unterhalb dieser Schwelle der MPls als HIGH gefuhrt, oberhalb als OVERLOAD. 
[0049] Der Lastlndikationswert (Balancing Indikator) MPbij des i-ten Prozessors MPj kann die Werte NORMAL, HIGH 
Oder OVERLOAD annehmen. Dieser wird wie der MPISj berechnet, nur wird hier anstelle der talsachlichen Last Yj die 
geschatzte angebotene Last Aj zugrundegetegt und andere Werte fur und A. genommen, mit = A. = 0.02. 
[0050] Zusatzlich wird ein Overload Level OLj des Prozessors MPj bestimmt, der die Werte 0... 6 annehnnen kann 
und als Quantifizierung des Uberlastzustandes des Prozessors MPj gedacht ist. Ist der OLj>0, werden Calls abgewehrt, 
je hoher der Wert, desto wahrscheinlicher wird ein Call abgewiesen. 

[0051] Die Last, die von MPj nach MP| verteilt werden soil, wird als Wahrscheinlichkeit Pjj ausgedruckt und kann 
somit Werte zwischen 0 und 1 annehmen. 

[0052] Die Gr6f3e des Wertes pjj bestimmt sich durch folgende Kriterien: 

Initialisiere pjj mit p,|:=:in-l)'^ 

Pjj!- 0, MPj soil nicht an sich selbst verteilen. 

Falls MPbij=NORMAL: p^ ">Pjj + 0.25/n. j=1.....n, \^\. Das alte pjj kann vergroBert werden. weiiauf dem Prozessor 
MPj noch Platz ist. 

Falls MPbij=HIGH: Pj| -> pjj 0.25/n. Das alte Pjj muf3 verkleinert werden, weil MPj volt ausgelastet ist. 
Falls MPbij=OVERLOAD; pjj = 0. Es soil keine Last an uberlastete Prozessoren MP„ abgeben werden. 

[0053] Die neu bestimmten Pjj mussen noch normiert werden: 

40 

Setze p^^ - summe(Pjj) Ober j=1,..,n 

45 und normiere (falls p^^^ > 0) mit p^j --> p^fp^^^ 

[0054] AnschlieBend wird die Verteilungsquote q mit den folgenden Kriterien bestimmt: 
Initialisierungswert: qj = 0.1 

'^^ - Falls der MPISj ^EXTREME: ^ = 0.1 . Dieser MP ist so stark uberlastet, daf3 thn auch der Eigenanleil fur einen 
verleilten Call uberfordern wurde. Deshalb kein Load Balancing, sondern nur Abwehr; das Load Balancing ist 
zudem aus systemtechnischen Grunden der Vermittlungsstelle nicht sinnvoll. 

Falls pgyr„ > 1 , kann offenbar mehr Last verteilt werden. Dann kann qj nach den Erfordernissen des MPj bestimmt 
werden, mit: 

55 

1 . Falls der OLj > 0, q| auf jeden Fall vergroRern mil: ^ -> min {pj + 0.15, 1} 

2. Falls Yj > thresholdn, qi vergroBern mit: qj --> min { qi + 0. 15. 1 } 
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3. Falls Yj < threshotdM, % verkleinern mit: q; --> max {qj - 0.10. 0.1 1. 

4. Andernfalls, falls threshold^, < Yj < thresholdn gilt: 

^ qj-->min{max{qj+(0.25/(threshotdH-threshold,^)nYj4hreshold,^)-0.1 . 0.1 },1 .0} 

[0055] Dies tst die lineare Interpolation zwischen der obigen VergroBerung urn 0.15 und der obigen Verkleinerung 
um 0.1 . Die Formel ist nochnnals in besser lesbarer Weise in der Figur 3 dargestellt. 

- Falls Psum< 1 . wurde offenbar zuviel Last verteilt und q mu3 verkleinert warden mit: qj --> qj * Psu^ 

- Der Prozassor MPj verteilt Last an andere Prozessoren MP^, wenn qj > 0.25 wird. 

[0056] Das erfindungsgemaOe Verfahren waist somit die folganden Eigenschaften und Vorteile auf: 
[0057] Ein sehr garingar Infornnationsoverhaad zwischen den am Lastvertailungsverlahren bateiligten Prozessoren. 
Gegenseitig bekannt sind nur wanige, vorzugsweise dreiwertige Lastzustanda, die nur einmal pro Kontrollintervall 
aktualisiart und verteilt warden. 

[0058] Fur jedan Prozessor gibt es eine Quote, die jades Kontrollintervall aktualisiart wird und die den Anteil der Last 
ragelt, die vom betrachtaten Prozessor an die anderen betailigten Prozessoren verteilt werden soli. 
20 [0059] Fur jeden Prozessor gibt es Etnzelregulatoren, welche die zu varteilende Last auf die anderen Prozessoren 
aufteilen. 

[0060] Das Verfahren ist nicht nur als "FeuenwehmnafBnahme" konzipiert, das arst wirksann wird, wenn ein Prozessor 
- in Uberlasl gerat und gegebenenfalls Aufgaben (Calls) abgewehrt werden, sondern es setzt die Lastverteitung frOher 
und weicher ein. Dadurch konnen Dauerschieflastzuslande besser und mit weniger abgewiesenen Aufgaben (Calls) 
^5 verarbeitet werden. 

[0061] Im erfindungsgemaOen Verfahren werden die Lastzustande, die an die anderen Prozessoren verteilt werden, 
konsequent anhand der geschatzten angebotenen Last und nicht anhand der tatsachlich bearbeiteten Last ermitteit. 
[0062] Das Verfahren benotigt kein Load Balancing Flag, das den Einstieg in die Lastverteitung regelt. Der Ernstieg 
wird Qber die Verteilquote q; geregelt. Weiterhin sind durch das Fehlen eines Load Balancing Flags gegensettige Ab- 
hangigkeiten zwischen den Lastzustanden und dem Load Balancing Flag eiiminiert worden. Dadurch ist eine nach- 
tragliche Anpassung des Algorithmus an veranderte Bedingungen leichter mogltch. 

[0063] Die lastabhangige Veranderung der Einzelregulatoren (Lastverteilungsfaktoren Pjp geschleht in Abhangigkeit 
von der Anzahl n der an der Lastverteilung beteiligten Prozessoren. Somit ist das Verfahren unabhangig von der Anzahl 
der beteiligten Prozessoren. 

^5 [0064] Die lastabhangige Veranderung der Verteilungsquoten und der Einzelregulatoren pro Kontrollintervall ge- 
schieht so, daB ein zu langsames "Heranschleichen" an den optimalen Wert vermieden wird. 
[0065] Die lastabhangige Veranderung der Einzelregulatoren vermeidet ein Verharren der Werte auf die Einsteltung 
der vorangegangenan Lastverteilungsperiode wahrend einer Periode ohne Lastverteilung. Es wird vielmehr auf eine 
Ausgangsstellung zuruckgeregett. 

40 [0066] Die aus dem Stand der Technik bekannte Tragheit in der Veranderung der Quoten wurde entfernt, um ein 
leichteres Nachfuhren an die tatsachlich vorliegende Lastsituation zu emnoglichen. 



Patentanspruche 

45 

1. Verfahren zur Lastverteilung in einem Multiprozessorsystem, insbesondere in einem Multiprozessorsystem eines 
Kommunikatbnssystems. bet dem anfallende Aufgaben von mehreren Prozessoren MPj (mit i=1,2,.....n) untar 
Raalzeitbedlngungen abgearbeitet werden konnen, mit folgenden iterativen und sich in Zeitintewallen CI wieder- 
holendan Verfahrensschritten: 

50 

- jeder Prozessor MPj ermitteit seinen tatsachlichen Lastzusland Yj - bestimmt gegebenenfalls direkt hieraus 
einen mehrwertigen Laststatus (load state) MPISj - und schatzt in Abhangigkeit von zuvor mitgeteitten Vertei- 
lungsquoten qj(aft) (mit qj=an andere Prozessoren MP^ nach Moglichkeit zu verteilender Lastanteil) und dem 
typischerweise verteilbaren Anteil V einer typischen Aufgabe seine angebotene Last Aj, die zu einem mehr- 
55 wertigen Lastindikationswert (Balancing Indicator) MPbij fuhrt, 

jeder Prozessor MPj teilt seinen Lastindikationswert MPbij den jeweils anderen Prozessoren MP^ (mit k=1 ,2,... 
i-1,i+1,...n) mittelbar Oder unmittelbar mit, 
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jeder Prozessor MPj bestimmt seine Lastverteilungswahrscheinlichkeiten pjj (mit i=1 ,2 n) in Abhangigkeit von 
den Lastindikationswerten MPbi|^ dieser anderen Prozessoren MP^, 

jeder Prozessor MPj bestimnnt seine Verteilungsquote qi(neu) in Abhangigkeit von seinem tatsachlichen Last- 
zustand Yj und den Lastverteilungsfaktoren pjj 
5 - jeder Prozessor MPj verteilt anhand seiner Quote Qj und seiner Lastverteilungsfaktoren Pjj seine verteilbare 

Last an andere Prozessoren MP^ wenn seine Verteilquote qi(neu) einen vorgegebenen Wert q^ uberschreitet. 

2. Verfahren gema3 dem voranstehenden Anspruch 1, dadurch gekennzeichnet, daB die geschatzte angebotene 
Last Aj eines Prozessors MP; nach der Formel Ai:=Y/(1-qiV) errechnet wird. 

10 

3. Verfahren gemaB einem der voranstehenden Anspruche, dadurch gekennzeichnet, da3 der nnehrwertige Lastin- 
dikationswert (balancing indicator) MPbij drei diskrete Werte, vorzugsweise NORMAL (-0 bis 0,7), HIGH (=0,7 bis 
0,85) und OVERLOAD (=0,85 bis 1) annehmen kann. 

J5 4. Verfahren gema3 dem voranstehenden Anspruch 3, dadurch gekennzeichnet, daB der Lastindikationswert (ba- 
lancing indicator) MPbij bezuglich Anderungen einer Hysterese unterllegt. 

5. Verfahren gema3 einem der voranstehenden AnsprOche, dadurch gekennzeichnet, daB der mehrwertige Laststa- 
tus (load state) MPISj vier diskrete Werte. vorzugsweise NORMAL (=0 bis 0,7). HIGH (=0,7 bis 0,85), OVERLOAD 

20 (=0,85 bis 1 ) und EXTREME (wenn Laststatus uber mehrere CI OVERLOAD) annehmen kann. 

6. Verfahren gema3 dem voranstehenden Anspruch 3, dadurch gekennzeichnet, da3 der Laststatus (load state) 
MPISj bezuglich Anderungen einer Hysterese unterliegt. 

2S 7. Verfahren gema3 einem der voranstehenden AnsprOche, dadurch gekennzeichnet, da3 der Wert der tatsachlichen 
Last Yj proportional zur Prozessorlaufzeit ist. 

8. Verfahren gema3 einem der voranstehenden AnsprOche, dadurch gekennzeichnet, daB als typischer verteilbarer 
Anteil V einer typischen Aufgabe CallP der durchschnittliche Oder maximale Anteil ist. 

30 

9. Verfahren gemaB dem voranstehenden Anspruch 8, dadurch gekennzeichnet, daB der durchschnittliche Oder ma- 
ximale Anteil einer typischen Aufgabe standig als gleitender Durchschnitt Oder gleitender Maximalwert uber etne 
vorgegebene Zeitspanne to ermittett wird. 

3S 10. Verfahren gemaB dem voranstehenden Anspruch 9, dadurch gekennzeichnet, daB fur die vorgegebene Zeitspanne 
to gilt: to » CI. 

11 . Verfahren gemaB einem der voranstehenden AnsprOche, dadurch gekennzeichnet, daB als typische Aufgabe eine 
durchschnittliche oder maximale Aufgabe angenommen wird. 

40 

12. Verfahren gemaB dem voranstehenden Anspruch 8, dadurch gekennzeichnet, daB die durchschnittliche Oder ma- 
ximale Aufgabe standig ats gleitender Durchschnitt Oder gleitender Maximalwert uber eine vorgegebene Zeitspan- 
ne tp ermittelt wird. 

45 13. Verfahren gemaB dem voranstehenden Anspruch 12, dadurch gekennzeichnet, daB tur die vorgegebene Zeitspan- 
ne tQ gilt: tQ » CI. 

14. Vertahren gemaB einem der voranstehenden AnsprOche, dadurch gekennzeichnet, daB fur den vorgegebenen 
Wert % der Verteilquote qj. ab dem der Prozessor MPi verteilbare Last an andere Prozessoren MP|^ verteilt gilt; 

so 0,05<qv<0,3, vorzugsweise 0,1<qv<0.25. vorzugsweise qv=0,2. 

15. Verfahren gemaB einem der voranstehenden AnsprOche, dadurch gekennzeichnet, daB die Berechnung der Ver- 
teilquote qj die folgenden Kriterien erfulit: 

55 - Pii:=0 

- falls^MPbi| einer mittlere Last entspricht, vorzugsweise MPbipNORMAL, gilt: pij(neu) = pij(att)+p(.i/n, f Or j=1 
n und \^\ 

- falls MPbij einer hohen Last entspricht, vorzugsweise MPbipHIGH gilt: Pij(neu) = pij(alt)-D,2/n. fOrj=1 , ..,n und 
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- falls MPbi| einer Uberlast entspricht, vorzugsweise MPbij=OVERLOAD, gilt: pjj(nGu) = 0 
wobei vorzugsweise die Pj^ , mit der Summe Psy^ der Pjj auf 1 normiert wird und 

als Initialisierungswert beim Beginn der Verteilungsprozesse alle py, ausgenommen pjj, gleich sind. 

5 

16. Verfahren gema3 dam voranstehenden Anspruch 15, dadurch gekennzeichnet, daR fur die Konstante p^i gilt: 
0,1<p^^<0,5, vorzugsweise 0,2<p^,^<0,3, vorzugsweise pj,^=0,25. 

Verfahren gema3 einem der voranstehenden Anspruche 15-16, dadurch gekennzeichnet, da3 fur die Konstante 
Pc2 gilt 0,1 <p(;2<0,5, vorzugsweise 0,2<Pc2<0,3, vorzugsweise pc2=0,25. 

18. Verfahren gemaB einem der voranstehenden Anspruche 15-17, dadurch gekennzeichnet, dafB der Initialisierungs- 
75 wert der py beim Beginn der Verteilungsprozesse gleich (n-1 )-i gesetzt wird. 

19. Verfahren gema3 einem der voranstehenden Anspruche 15-18, dadurch gekennzeichnet. daR die Berechnung 
der Lastindikationswerte MPblj die tolgenden Kriterien erfutit: 

20 . falis MPISj der hochslen Last entspricht, vorzugsweise MPISj-EXTREME. gilt: qj(neu)=qci, 

- falls Ps^,^ > 1 gilt: 

falls der tatsachliche Lastzustand Yj groGer als ein vorgegebener Wert thresholdH ist, wird qj vergroGert 
mit qj=min{qj+Cqi,1}, 

25 - falls der tatsachliche Lastzustand Yj kleiner als ein vorgegebener Wert threshold,sj ist, wird q verkleinert 

mit qj=max{qi-Cq2> c^g}, nnit 0<Cq3<qy, vorzugsweise Cq3=0,1. 

andernfalls (threshold^ ^ ^ threshold^) erhalt qi einen Zwischenwert zwischen den beiden oben ge- 
nannten Alternativen, vorzugsweise durch lineare Interpolation 

30 - falls p^y^ < 1 gilt: qi(neu)r:qi(att) * p^um 

20. Verfahren gemaB dem voranstehenden Anspruch 19, dadurch gekennzeichnet. daB fur die Konstante c^^ gilt: 

0,05<Cq^<0:3, vorzugsweise 0,1< Cq,<0,2, vorzugsweise c^^=0,15. 

21. Verfahren gemaB einem der voranstehenden Anspruche 19-20, dadurch gekennzeichnet, daB fur die Konstante 
Cq2 gilt: 0.05< Cq2<0,2, vorzugsweise Cq2=0,10. 

40 22. Verfahren gemaB einem der voranstehenden Anspruche 19-21 , dadurch gekennzeichnet, daB fur die Konstante 
threshold^ gilt: 0,6 < thresholdj^j < 0.8, vorzugsweise threshold|s| =0.7. 

Verfahren gemaB einem der voranstehenden Anspruche 19-22, dadurch gekennzeichnet daB fur die Konstante 
thresholdH gilt: 0,7 < thresholdH < 0'95. vorzugsweise thresholdn =0,85 

Verfahren gemaB einem der voranstehenden Anspruche, dadurch gekennzeichnet, daB zusatzlich ein Oberlast- 
wert OLj der Prozessoren MPj ermittelt wird, der ein MaB fur die GroBe der Uberlast ist. mil OLj=0,1 ,...m und die 
Verteilquole qj auf jeden Fall vergroBert wird, falls OLi>0 mit qj(neu):=min{qi(all)+c qi , 1 }- 

so 25. Multiprozessorsystem, insbesondere eines Kommunikationssystems, mit mehreren Prozessoren MP; (mit 
i=1,2,....,n) zur Ausfuhrung anfallender Aufgaben unter Realzeitbedingungen^ wobei: 

jeder Prozessor MPj Mittel aufweist, um seinen tatsachlichen Lastzustand Yj zu bestimmen, - gegebenenfalls 
dtrekt hieraus einen mehrwertigen Laststatus (load state) MPISj zu bestimmen - und in Abhangigkeit von zuvor 
55 mitgeteilten Verteilungsquoten qj(alt) (mit q^an andere Prozessoren MP^ nach Moglichkeit zu verteilender 

Lastanteil) und dem typischerweise verteilbaren Anteil V einer typischen Aufgabe, seine angebotene Last Aj 
zu schatzen, die zu einem mehrwertigen Lastindikalionswert (Balancing Indicator) f^Pbij fuhrt. 

- jeder Prozessor MPj Mittel aufweist, um seinen Lastindikationswert MPbij den jeweils anderen Prozessoren 
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MP,^ (mit k:r1,2,...i-1,i+1:...n) mittelbar Oder unmitteibar mitzuteilen, 

jeder Processor MPj Mittel aufweist. um seine Lastverteitungswahrscheinlichkeiten (mit j-1,2, ...n) in Ab- 
hangigkeit von den Lastindikationswerten MPbi^ dieser anderen Prozessoren MP,, zu bestimmen, 
- jeder Prozessor MP; Mittel aufweist. um seine Verteiiquote qi(neu) in Abhangigkeit von seinem tatsachlichen 
5 Lastzustand Yj zu bestimmen, und 

jeder Prozessor MPj Mittel aufweist, um anhand seiner Quote pj und seiner Lastverteilungsfaktoren Pjj seine 
verteilbare Last an andere Prozessoren MP^ zu verteilen, wenn seine Verteiiquote qi(neu) einen vorgegebenen 
Wert uberschreitet. 

10 26. Multiprozessorsystem gema3 Anspruch 25, dadurch gekennzeichnet, daB eines der Verfahren gemaB einem der 
Anspruche 1-24 implementiert ist. 
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